SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation
SAKI：基于最大耦合路由的在线策略蒸馏教师监督
🧭 On-policy 蒸馏 · 最大耦合监督路由 ★ 深度解读
Meituan · KTH Royal Institute of Technology
将教师引导 rollout 中的最大耦合修正事件作为 token 级监督路由信号，在信任域内自适应分配教师 Top-1 监督
📌 工作参考价值（4 点）
- 在推荐/广告 LLM 的 on-policy 蒸馏或 RL 微调中，可直接复用 TRB 式几何桥接（q ∝ p^{1-β} T^β，约束 D_KL(q∥p)≤ε）替代纯 student/teacher rollout，减少弱模型早期状态偏移；ε 同时控制 rollout 偏差和 teacher 监督频率，便于工程轻量调控。
- 把最大耦合的 accept/correction 事件作为自适应课程信号，比按 TV/KL 标量加权更精准：只在需要干预的 token 上触发 teacher argmax 强监督，其余位置保留 RKL；这种「稀疏、冲突自适应」的路由可迁移到生成式出词、query 生成、Agent 多步 rollout 的 token 级监督设计。
- 在线教师推理成本高，可借鉴 speculative block verification：student 草稿 K tokens，teacher 批量验证，first rejection 后丢弃后续 KV 并从修正 token 恢复，既保持 exact-q 分布又获得 4.22× 吞吐提升；对需要在线 teacher 参与的策略学习/蒸馏系统有直接工程价值。
- 若业务中有强生成模型作为 teacher、弱模型作为 student，可在高冲突前缀用 teacher Top-1 做硬标签拉齐，而不是始终用分布 KL；论文表明 teacher-mode 比 teacher-sampled 在数学推理上 +0.62 Mean@8 / +1.56 Pass@8，模式寻求更适合冲突位置。